面向 LLM 推荐的多教师推理蒸馏与自探索框架 MUSE
🧭 推理增强推荐 · 多教师蒸馏 ★ 深度解读
The Hong Kong Polytechnic University · Nanyang Technological University
MUSE 构建多教师+学生自探索候选池，用 Rank-Gain 效用筛选并对比蒸馏，让 LLM 推荐器学到真正有益的偏好推理
📌 工作参考价值（4 点）
- 用下游排名收益做无标注推理筛选：RGUA 直接以 ground-truth item 的全库排名提升作为推理轨迹效用，避免人工标注，很适合电商/广告中大量交互日志。工程上只需轻量 encoder 算候选 rank，不必引入 LLM evaluator，成本低。
- 多教师 + 学生自探索的候选池设计：先让多个 teacher LLM 生成候选，再随训练逐步增加学生采样数量，让模型逐渐摆脱 teacher 知识上限。业务中可对重要用户/类目建立多 LLM 候选池，用 ranking 指标筛选后再蒸馏。
- 双对比损失解耦“生成”和“利用”：ConDistill 让 generator 拉开高/低效用推理的 likelihood；ConUtil 让 encoder 强制在好推理下比坏推理更接近目标 item，防止模型只依赖历史行为而忽略推理信号。该思路可迁移到多任务推荐排序中，用对比目标强化特征利用。
- 训练与推理效率可复用：teacher 推理预生成并缓存，推理时只需 student 单次生成，vLLM 延迟与 R2ec 相当；业务可离线跑多教师，在线保持轻量。
从碎片到融合：全模态嵌入综述与路线图
🧭 多模态嵌入统一框架与路线图
Ant Group · Shanghai Jiao Tong University · Australian National University · Tongji University · National University of Singapore
提出覆盖、可比、组合三能力框架与三条统一路径，系统梳理多模态嵌入研究
📌 工作参考价值（4 点）
- 在推荐/搜索中构建多模态商品或内容 embedding 时，先诊断系统在 3C 上的短板：是否覆盖了用户 query、商品图、描述、视频等所有输入？不同模态 embedding 是否真的可比（同空间）？若需组合属性（如“红色连衣裙”），仅靠对齐可能不足，应评估联合嵌入。
- 工程实现上可阶段式升级：若资源有限，先用 transformation 将表格、图等序列化为文本，复用现有 text encoder 快速上线；但要注意转换损失，适合冷启动和 MVP。
- 对比学习对齐双塔（如图文）存在 modality gap，导致跨模态检索的相似度分数不可直接比较；可在损失中加 gap 校准项，或后处理投影到同一子空间，提升图文一致性。
- 对 Agent 场景：当 LLM 需要理解混合输入（商品列表、图片、用户行为）时，优先使用联合嵌入模型而非分别编码再拼接，以保留组合语义，便于后续推理。
xPRT：跨段落检索预训练
🧭 无监督检索预训练 · 跨段落对比学习
Microsoft Research
提出无监督跨段落检索预训练框架 xPRT，利用文档内跨段落信号，在 MTEB 上平均超越最强基线 3.2%
📌 工作参考价值（4 点）
- 电商搜索/推荐中的稠密检索模型可用商品详情页、用户评论等长文档内部段落关系构造无监督对比对，无需标注 query-doc 数据，降低训练成本。
- 在已有无监督 checkpoint 上继续预训练时，直接使用常规对比学习目标可能性能回退，xPRT 的跨段落信号能带来互补增益，对检索模型持续预训练有参考价值。
- 工程实现上，可从同一文档内采样正负段落，利用标题、章节、评论段落等结构信息生成难负样本，增强语义区分能力。
- 若业务中已有 RAG 或搜索系统，可将 xPRT 作为额外预训练任务叠加到现有流程，提升检索器在语义匹配任务上的泛化性。
DuTri：双分支建模与三阶分解的多模态多场景推荐
🧭 多场景多模态推荐 · 双分支三阶分解 ★ 深度解读
深圳大学 · 深圳技术大学
提出 DuTri 双分支框架，用 CP 分解和残差量化学习三元协同偏好，指导多模态自适应融合，在多场景推荐上取得最优。
📌 工作参考价值（4 点）
- 多场景多模态推荐不要简单把多模态特征拼进现有 MSR 骨干，可尝试双分支：协同分支专注 ID 交互建模，多模态分支处理内容语义，通过偏好表示桥接，避免参数共享架构在多模态下退化。
- 用 CP 分解建模用户-场景-物品三维交互，得到用户、场景、物品因子，作为跨场景共享和场景特异的表示，可替代简单的共享嵌入，迁移到多场景 CTR 模型。
- 残差量化（RQ）将连续偏好因子离散化，提升表示稳定性和泛化，类似于 Semantic ID 的思路，可用于工业推荐中对用户/场景/物品表示进行量化压缩。
- 对比学习对齐协同物品表示与多模态表示，使协同信号和内容信号互相增强，可借鉴到多模态推荐或图文相关性建模中，提升融合效果。
语义不足时：用户画像引导的跨域序列推荐
🧭 跨域序列推荐 · LLM 用户画像引导 ★ 深度解读
北京交通大学 · 中山大学 · 南洋理工大学
用 LLM 推断用户画像作为全局引导替代跨域语义桥接，结合本地语义关联提升跨域序列推荐
📌 工作参考价值（3 点）
- 跨域/多场景推荐中，避免全局 item 语义对齐；用 LLM 从用户混合行为序列推断 persona（输出 why 而非 what，提示词约束不提具体 item/brand/domain），作为跨域行为建模的全局引导信号，可作为多域用户表示的统一先验。
- 行为与语义表示分离：跨域共享行为 embedding 随机初始化、与混合序列联合训练，避免语义域隔离；冻结的 item 语义 embedding 只用于域内局部邻域正则和域偏好分支，最后通过可学习 gate 自适应融合。工程上可离线预计算 persona 和语义 embedding，不增加在线推理成本。
- 辅助损失设计：Local Semantic Association 对每个 item 取 Top-K 语义邻域，回归语义相似度与行为相似度；Global Persona Guidance 使用 persona-aware attention 对序列隐藏态加权，做用户级对比学习。两项都是轻量插件，可加到现有 Transformer 序列模型。
RATED：基于执行动态的可靠性感知 AI Agent 工具检索
🧭 Agent 工具检索 · 在线可靠性适应 ★ 深度解读
Texas Tech University
融合对比微调双塔检索与 discounted LinUCB 在线重排，将工具故障选择率从 86% 降至 3%
📌 工作参考价值（4 点）
- 解耦语义与可靠性：用冻结的语义检索器（DRAGON）产出 top-K 候选，再做轻量在线重排，避免每次工具故障都重训大模型；电商 Agent 中大量 API/下游服务频繁上下线，这种架构能快速响应。
- discounted LinUCB per tool：为每个工具维护独立线性模型，用折扣因子 γ=0.95 下权旧反馈，快速适应工具失效；协方差矩阵保持对角，更新和推理都是 O(d)，单步开销 <0.2ms，适合高并发在线服务。
- 冷启动先验：从工具目录元数据（名称-描述一致性、来源可信度、文档质量）自动计算静态可靠性分数，初始化 bandit bias，新工具上线无历史数据也能合理排序；电商工具库也可用类似信号（如 API 文档完整度、供应商信誉）做初始质量分。
- 融合权重默认值：语义 0.75、bandit 0.15、静态先验 0.10 在 20% 故障率下效果最佳，可直接作为业务调参起点。
SPRINT：基于平均概率速度的单步生成式推荐
🧭 生成式推荐 · Semantic ID · 单步生成 ★ 深度解读
University of Technology Sydney · New York University Abu Dhabi · University of California, San Diego
把 Semantic ID 生成建模为平均概率速度，单次前向输出完整 SID，并用双层级流对比保持 token 连贯性
📌 工作参考价值（4 点）
- 如果做 SID 生成式召回/排序，优先尝试 OPQ 而非 RQ-VAE/RQ-Kmeans：OPQ 的并行独立子空间更适合一次性预测全部 token；本文消融显示换 RQ 会明显掉点，可作为架构选型依据。
- 在单步并行解码 SID 时，单纯 per-token CE/contrastive 不够，必须加 SID 级整体打分：把 decoder 的 L 个位置隐状态 concat 后 MLP 成 user 侧表示，与 item SID embedding 做 cosine 对比，能显著抑制“每个 token 合理但组合非法”的问题；item 侧 SID embedding 可离线预计算，线上只多一次矩阵乘。
- 线上推理保持 all-mask 输入、trie 约束解码，分数 = token 概率 log-sum + SID 级相似度，单次 forward 即可出 topK；相比 masked diffusion 可拿到 8-10×加速，适合对 latency 敏感的电商推荐候选生成。
- 训练时把 source time 以较大概率锚定在 all-mask（ρ=0.75~1），并采样约 100 个 negative SID 做对比，可在不大幅增加训练成本下同时提升收敛速度和精度。
Ovis-Embedding：全模态统一嵌入模型
🧭 多模态统一 Embedding 训练
Alibaba Token Hub, Alibaba Group
基于Qwen-omni的原生多模态统一embedding，在多个检索基准上达到SOTA
📌 工作参考价值（4 点）
- 复用大规模多模态LLM作为embedding backbone：直接对Qwen-omni做对比学习微调，而不是从零搭多塔，能以较低成本获得高质量统一表示。电商场景可类似地用商品图文视频数据微调多模态LLM，得到商品统一embedding用于跨模态召回。
- 同源采样构造任务一致batch：按数据来源/模态分组采样，让in-batch negatives更相关、更有信息量。在推荐/搜索的多行为、多内容源训练中，可以按用户行为类型或item类目分组，提升对比学习效率。
- focal loss强调难样本：对困难负例加大权重，适合处理点击/转化数据中的长尾和难区分样本，尤其适用于召回模型中难负例挖掘。
- 低秩特征分解灵活控制维度：一套模型可输出不同维度embedding，低维用于快速召回、高维用于精排，减少存储和计算成本，类似推荐系统里的多级向量索引设计。
RegRet：增强大型多模态模型中的区域级检索
🧭 多模态区域级检索 · 对比学习
Zhejiang University · Xiaohongshu Inc.
通过 Region-Aware Encoder 与多阶段对比学习，在不牺牲全局检索性能下大幅提升区域级检索
📌 工作参考价值（4 点）
- 电商以图搜图/相似商品推荐场景中，用户常指定 ROI（如局部图案、纹理），全局检索易被背景干扰误召。可借鉴 Region-Aware Encoder 思路：在现有多模态编码器上增加区域特征分支，与全局特征做加权或注意力融合，输出联合表示，提升区域查询召回精度。
- 训练流程采用“局部字幕生成→区域对比学习”两阶段设计：先利用图文对自动生成区域描述构造正负样本，再对区域表示做对比微调。业务中可直接复用该 pipeline，用少量人工标注或伪标注构建区域级训练数据。
- 论文表明仅零样本推理的区域级检索能力就超过强基线，说明预训练 LMM 已隐含区域理解；若业务受限于标注，可先直接使用 LMM 区域裁剪+文本匹配做召回，再逐步用对比学习微调。
- 引入 REGMB 基准，覆盖区域-区域/区域-文本等四类任务，评估体系可参考扩展；尤其对电商搜索，可建立内部 ROI 检索评测集，量化不同模型对细粒度意图的满足度。
Glyph：企业数据目录列描述与敏感本体标注的多策略智能体系统
🧭 多智能体数据目录标注与敏感分类
Apple
用协作式 LLM Agent 将列描述生成与 275 类敏感标签分类落地为可审计的生产系统
📌 工作参考价值（4 点）
- 代码而非数据值作为生成依据：Descriptor 通过 active RAG 从 GitHub 检索产生列的上游 pipeline 源码，再生成描述。做电商/推荐特征库、指标口径或广告字段文档时，可以让 Agent 以业务代码/ETL 逻辑为 grounding，避免只看数据值产生幻觉。
- 多策略并行 + RRF 融合：Tagger 同时跑描述打标、业务正则、基于向量库的 metadata tagger，再用 Reciprocal Rank Fusion 合并排序。对大 taxonomy（如 275 类）的商品/内容/广告分类或多标签治理，可复用「语义、规则、精确元数据三路并行 + RRF」的架构，稳定且可解释。
- 小模型对比微调收益显著：用 in-batch contrastive objective 微调 6 层 MiniLM，NDCG@10 从 0.55 提升到 0.92。在标签体系较大、域内文本较短的特征/类目标注任务中，轻量 encoder 微调 + 向量检索是低成本高回报方案。
- 每个标签保留 provenance 与降级路径：系统记录每个 tag 来自哪条策略，并在代码不可取、服务失败时优雅降级。生产 Agent/LLM 系统做治理或推荐元数据标注时，应设计来源审计和 fallback，满足合规与可运维要求。
潜在对齐推理用于多模态推荐
🧭 多模态推荐 · VLM 潜在推理与双对齐 ★ 深度解读
Xiaohongshu Inc. · Nanjing University
提出 LARK 两阶段潜在推理框架，用视觉与推理文本双重对齐缓解多模态推荐中的跨模态稀释，在 Amazon 与工业数据集上一致超越 baseline
📌 工作参考价值（4 点）
- 离线 item encoder 部署：用 VLM 对商品图/文离线生成 embedding 并预存向量索引，线上只训练 DeepFM/LightGCN/SASRec 等轻量模型，把多模态推理成本完全移出 serving 路径；该论文在百万级商品上验证了此 decoupled 设计的可扩展性。
- 用 Swing 相似度构造 item-item 对比学习正样本，比随机负样本更符合电商协同信号，能显著提升长尾商品表示；已有 Swing 的电商场景可直接替换为 InfoNCE 的正样本源。
- 若业务需要在 VLM 内做多步推理，可采用 latent tokens + 双对齐：用 frozen vision encoder 做 patch-wise 对齐保留视觉信息，用 stop-gradient CoT hidden states 对齐保留推理语义；掩码图像 50% 可防过拟合像素级细节。
- 超参参考：latent token 总数 16（4 组×4）、损失权重 0.1、对比温度 0.07 在多个数据集稳健；3B 参数 VLM 即可超越 7B NoteLLM-2，说明结构设计比模型规模更关键。
超越模态和谐：正交净化与拓扑引导MoE的冲突感知多模态推荐
🧭 多模态推荐 · 去噪融合
City University of Hong Kong · The Hong Kong Polytechnic University
提出OrthoRec，用协同引导正交净化和拓扑感知MoE解决多模态推荐中的模态-拓扑冲突
📌 工作参考价值（4 点）
- 多模态融合改造成残差净化思路：电商图文/视频常存在标题党、主图诱骗，直接 concat 或 gate 会污染协同信号。可借鉴 CGOP：先用纯协同 embedding 作为锚，把视觉/文本特征投影到平行/正交方向，只保留平行分量并做能量归一化后残差注入，低成本缓解模态噪声。
- 多模态专家融合不用 softmax 门控：TAR-MoE 用解耦 sigmoid 门控替代传统 softmax 注意力，打破“模态之间零和竞争”，每个模态专家可独立决定注入强度。在电商多模态排序/召回模型中可直接替换融合层，避免视觉强、文本弱的 item 被错误压制。
- 对比学习负样本别强行对齐：safe-SSL 对矛盾 pair 动态降低对比损失，适合电商中图像与交互语义不一致的样本。如果业务在多模态对比学习时遇到噪声对，可加入置信度惩罚或自适应温度，而不是全量强制对齐。
- 稀疏 item 鲁棒性有直接价值：实验显示对稀疏 item 的改善，说明该去噪机制在新品/长尾商品多模态建模上可能比复杂跨模态模型更稳。
电商生成式检索：联合学习 Embedding 与 Codebook 的同商品簇一致性方法
🧭 生成式检索 · 联合训练 Embedding/Codebook ★ 深度解读
Alibaba Group
用同商品簇信息联合训练 embedding 与 codebook，消除两阶段误差累积，提升生成式电商检索召回
📌 工作参考价值（4 点）
- 电商场景中，可利用商品簇（同 SKU/同款不同卖家）作为强监督：对每个商品采样同簇商品并计算均值 embedding，加 MSE 拉近商品 embedding 与簇均值，能显著提升 Semantic ID 的一致性；可直接复用现有商品关系（ASIN/货号）构造训练信号。
- 避免两阶段训练：将 RQ-VAE 的 codebook 与 embedding model 联合优化，同时引入 query-product 对比学习，让 codebook 不再只依赖静态商品 embedding；实现时可将 InfoNCE 分别加在原始 embedding 和量化重构表示上，端到端对齐查询与商品空间。
- 引入新 token 的 LLM 微调可采用两阶段：先 product info -> product ID，再 query -> product ID，让模型先掌握新特殊 token 的语义，再学习查询到 ID 的映射，对生成式检索 fine-tune 更稳定。
- 规模配置可参考：5 层 codebook、每层 32 码、768 维、GTE 编码器、Qwen2.5-7B；20M 商品 + 40M query 训练即可获得稳定提升；ALSP 指标适用于评估同簇商品 ID 的一致性。
HF-SID：面向位置服务生成式检索的高保真语义 ID
🧭 生成式推荐 · Semantic ID ★ 深度解读
AMAP, Alibaba Group · University of Science and Technology of China · Tsinghua University
通过 3D 坐标编码、数值专用编码器与末层结构对比学习，在不增加 SID 长度下大幅提升 LBS 生成式检索的地理与业务指标
📌 工作参考价值（4 点）
- 生成式推荐里别只调 RQ-VAE/codebook：item 表示在量化前若丢失连续数值、层级、地理等信息，量化后无法弥补。优先审视 embedding 是否保住了关键属性。
- 对价格/评分/销量等异构数值，可以用单个 [NUM] token + 数值编码器 + Type Embedding，避免数字被 BPE 切碎、跨属性尺度混淆；这个 trick 可迁移到电商生成式召回。
- 结构对比学习只作用在最后一层残差，能分离同一粗类下的细分类目/共址 item，且不破坏前两层地理/语义前缀；对「同一商圈/同一店铺下的不同商品」场景有直接参考。
- 线上 A/B 显示保真度主要提升 CVR 而非 CTR，说明 SID 影响的是候选资格/品类准确性而非曝光点击；评估生成式检索应更看重转化类指标。
偏好塑造相关性：个性化生成式检索的跨组件层级语义对齐
🧭 生成式检索 · 个性化语义对齐 ★ 深度解读
University of Science and Technology of China · Meituan
提出 CHAP：层级语义对齐与双视图个性化生成式检索，单次解码加速，线上转化提升2.98%
📌 工作参考价值（4 点）
- 冻结 RQ-VAE codebook，对 query encoder 做 cross-sample alignment + 层级对比学习 + soft probability distillation，可显著缩小 query 与 item 的 Semantic ID 语义 gap，适合电商搜索直接复用；但需预留 codebook 动态更新机制，避免丢失协同过滤信号。
- 用 sparse SID + dense raw embedding 双视图建模用户历史：sparse 提供稳定粗排结构，dense 补足长尾/个性化语义，尤其对歧义 query 有效；为防止历史行为淹没当前 query，decoder 初始化只用 query，不要喂完整历史当前缀。
- 推理架构上，将 Transformer Decoder 限制为单次前向，后续层级 SID 用轻量 residual block 生成；并行采样 50 个候选后，用 temperature-normalized sparse/dense 分数乘性融合做重排。该设计把 QPS 从 32.4 提升到 78.9，适合线上低延迟召回。
- 业务目标不要只看 CTR：CHAP 线上 UV-CXR +2.09%、支付订单 +2.98%，说明语义对齐 + 双视图更能触达转化意图；部署时可通过 Triton 解耦模块，不依赖 query cache，保证实时性。
面向 Agent 搜索的交互感知检索
🧭 Agent 搜索 · 交互感知稠密检索 ★ 深度解读
The University of Queensland
提出交互感知检索器 ITER，用历史查询与轨迹相对监督提升 Agent 搜索证据发现
📌 工作参考价值（4 点）
- 在电商/导购 Agent 的召回或重排中，可将「主需求 + 当前 query + 已尝试 query 序列」作为排序输入，显式告知模型已探索方向；即使不换模型，也能减少已看商品/答案的重复置顶，优先曝光能补充新信息的候选。
- 从用户或 Agent 轨迹构造三层负样本：已点击且有效作为冗余负样本（最高权重，如 3.0），已点击无效作为困难负样本（1.0），曝光未点击作为弱负样本（0.3）。这比传统随机负采样更贴合“边际增益”目标，适合精排/重排阶段。
- 工程上可采用去重式结果接口：把已曝光/已点击的 item 移到侧栏但仍可访问，不占主列表坑位，从而提高后续 step 的新候选覆盖率；论文中该设置带来 26.7% 的延迟访问正样本，对推荐/搜索 Agent 同样有借鉴意义。
- 跨模型迁移时，避免把 free-form pre-search reasoning 作为核心特征；不同 LLM 表达差异大，AgentIR 虽然 search recall 高但 task success 不稳。结构化历史（主 query + 子 query 序列）具有更好的跨 backbone 鲁棒性，更适合多模型混用的线上环境。
微信多模态 Embedding 技术报告：WeMM-Embedding 家族
🧭 多模态表征学习 · 通用 Embedding ★ 深度解读
WeChat Vision, Tencent Inc.
2B/4B/9B 通用多模态 embedding 家族，两阶段训练与蒸馏在 MMEB-v2 达 80.6 SOTA，并大规模落地微信推荐搜索
📌 工作参考价值（4 点）
- 通用多模态 item embedding 直接复用：商品/视频/图文内容统一走 <embedding> 末 token 出向量，可在召回、排序特征、用户序列建模、跨域理解中复用；视频场景可一次前向同时拿到“视频帧-only”和“视频+ASR文本”两种表示，适配不同召回通道。
- 多任务 pair 统一格式优于分开训练：把搜索 query、商品详情、内容描述、分类标签、点击/转化分级相关统一成 (instruction, source, target, hard_negatives, relevance)，用 task-consistent batch 和 duplicate-aware masking，能显著提升 in-batch negatives 质量；该技巧可直接迁移到电商搜索/推荐 embedding 训练。
- 用 Semantic ID 做数据平衡和难负例挖掘：对 pair 表示做 RQ-KMeans 得到三层语义 ID，按频次降采样高频语义、保留长尾，配合 MLLM 质量过滤和检索难负例，特别适合缓解电商长尾商品和新品冷启动；MRL 输出 256/512 维可降低向量索引成本，同时保留 97% 以上性能。
- 蒸馏策略可压缩学生模型：2B/4B 用 9B teacher 的 batch 内双向相似度分布做 KL 蒸馏，不像 one-hot 对比损失那么硬，能高效传递细粒度关系；在广告/推荐小模型迭代时可用此方法把大模型能力压到线上可部署尺寸。
缓解跨域序列推荐负迁移的双专家 LLM 策略
🧭 跨域序列推荐 · 负迁移抑制 ★ 深度解读
SK Telecom · KAIST
提出 DuELRec，用域门控双专家与双采样对比学习抑制 LLMRec 跨域负迁移
📌 工作参考价值（4 点）
- 多域/多场景推荐若出现负迁移，可设计同域/跨域双专家结构，分别用同域因果 mask 和跨域因果 mask 建模，再通过逐 item 门控融合；门控权重可视化能快速定位哪些域需要更强单域信号。
- LLM 做序列推荐不要只做 token 级自回归，应在 LLM 输出后增加 item-aware attention transformation，把 subtoken 聚合为 item 表示并在 item 级做 block causal mask，强制捕获协同信号，避免纯文本模式误导。
- 负采样不要只用同域负样本，加入 30%-50% 跨域负样本（论文 p=0.4）可以增强跨域判别能力，改动小、收益稳定，适合电商跨品类召回或广告多场景排序。
- ID-free 检索式 LLMRec 适合冷启动与新域扩展，但 warm item 通常弱于 IDRec；通过上述 item 级协同信号可同时提升 cold/warm，且无需为新 item 重训。工程上可用冻结 LLM + LoRA + 两个浅层 transformer expert 控制延迟，线上预建 item embedding 索引做相似度检索。
GOD：通过深度嫁接增强序列推荐泛化
🧭 序列推荐知识蒸馏 · 组件级嫁接 ★ 深度解读
Pohang University of Science and Technology
提出组件级知识蒸馏框架GOD，将学生组件嫁接进冻结教师构造混合源模型，强化序列推荐泛化
📌 工作参考价值（4 点）
- 组件级蒸馏替代输出级蒸馏：在电商/广告点击序列建模中，若教师-学生 KD 效果受限，可尝试将学生 embedding 或 encoder 临时插入冻结教师路径，分别得到 Embed-Grafted Teacher 和 Encoder-Grafted Teacher。这样能分离“嵌入不可靠”和“编码器过拟合”两类误差，比仅匹配教师输出更适合稀疏行为数据。
- Transformer 序列模型可用 Grafted Encoding 稳定训练：将教师侧与学生侧 token 拼接，允许互注意力（mask 为四块均 causal），早期教师 token 提供稳定上下文，后期学生 token 细化表示。训练 attention 开销约翻倍，但收敛更快，且不影响线上推理。
- 推理零开销，适合轻量线上模型：混合源模型只在训练阶段使用，线上仍用原始学生模型，不增加额外耗时。对需要低延迟的推荐/广告精排模型是可落地的 KD 增强方案。
- 自适应对比权重技巧可复用：GCL 对六种表示对做对比学习，并用 batch 内平均相似度的 stop-gradient 计算权重，抑制冗余对、强调互补对。该思想可迁移到多视图对比学习、多任务蒸馏中的损失加权。
LLM 增强多图学习与对比对齐的 POI 推荐
🧭 多图对比学习 · LLM 语义增强 ★ 深度解读
Institute for Digital Transformation - University of Applied Sciences Ravensburg-Weingarten, Germany
用 LLM 生成语义图和地理图扩展 LightGCN，通过跨视图对比对齐缓解 POI 冷启动
📌 工作参考价值（4 点）
- LLM 生成 item 语义图：对 item 的多模态信息（图/文/元数据）用 LLM 生成 photo summary + keywords，再用 sentence transformer（如 all-MiniLM-L6-v2）编码后做 top-k 相似度建图。电商/本地生活可直接对商品标题、详情、图片生成摘要，构建商品语义邻接图，冷启动 item 也能获得邻居信号。
- 地理邻近性建模：用 Haversine 距离 + top-k（k=10）构建地理 item-item 图，权重取 1/(1+distance)，与语义相似度权重同尺度，归一化后做 LightGCN 传播。本地生活/门店推荐可直接复用，电商可扩展到配送范围、仓储邻近等空间关系。
- 跨视图对比对齐很关键：将 collaborative embedding 与 semantic/geographic embedding 做双向 InfoNCE，仅对 batch 内正样本计算，τ=0.2，λ=0.05 作为正则化项。消融显示该对齐是主要收益来源，去掉后 Recall@20 下降 22.9%。建议在多路召回或表示融合场景中，用对比损失强制行为表示与内容/空间表示一致。
- 工程实现简单有效：所有视图共享 item embedding 矩阵，多图传播后直接 additive fusion 相加，不引入额外参数。这种轻量设计适合线上快速迭代，后续可替换为可学习加权融合。
RAGSieve：检索增强生成中知识投毒的自引用局部对比检测
🧭 RAG安全 · 自引用局部对比检测
Nanjing University of Information Science and Technology · Meituan
提出自引用局部对比检测框架，在查询时和语料入库时无需投毒标签识别RAG投毒文档
📌 工作参考价值（4 点）
- 在RAG检索后、生成前增加轻量检测层：对同一次检索的 top-5 与 rank 6-20 候选做分布对比（如相似度集中度、排名跃迁），发现异常文档直接过滤，不需要全局阈值，适合多品类电商检索结果分布差异大的场景。
- 语料入库阶段构建文档局部邻域图，检测与语义相似但词法不同邻居的密度异常，可提前拦截协同注入的商品描述、评论或UGC内容，降低在线风险。
- 方法无需投毒标注或可信参考语料，适合业务冷启动或无标注数据时快速上线防御。
- 联合部署查询时和入库时检测，攻击成功率从67.4%降至14.0%，且对干净检索F1影响有限，可作为RAG安全模块直接嵌入现有pipeline。
从被忽视到被探索：多视角混合恢复序列推荐中的物品关系
🧭 序列推荐 · 注意力校准 · 多视角 MoE ★ 深度解读
Pohang University of Science and Technology · University of Illinois Urbana-Champaign
识别并缓解自注意力相似性偏差，提出多视角透镜模块恢复同构与异质物品关系，序列推荐效果显著提升
📌 工作参考价值（4 点）
- 诊断注意力失效：对线上 transformer 推荐模型，在验证集上计算 last-layer attention 与因果重要性（逐个 mask item 看目标概率下降）的 Spearman/Align@1；若出现低相关或负相关，说明注意力被相似商品主导，模型实际依赖的 item 未被看到，可作为上线前诊断指标。
- 双视角轻量插件：在 SASRec/BERT4Rec 等主干层间插入 PRISM 式模块，用一个小 router 把 item 分到 K 个语义组（noisy gating），每个 lens 只对同组 key 做 mask 并 boost logits；同一模型内自然出现 Affinity（同组强化）和 Contrast（跨组恢复）两类输出，再按 g 加权融合。适合挖掘跨类目兴趣，如跑步鞋与运动水壶、手机与车载支架。
- 工程性价比：所有 lens 共享参数，每增加一个 K 仅多 2d 参数（实验中 K=8 只比 K=2 多 768 参数），训练/推理显著快于常规 MoE；可以在已有模型上以极小成本验证收益。
- 多视角训练防塌缩：如果需要序列级对比学习，使用 same-target 正样本时建议加入 stochastic perspective masking 随机屏蔽非主视角，防止不同视角被过度拉齐；同时对各视角输出做加权 SKL 一致性约束，避免直接加权和导致表示空间冲突。这个适用于多兴趣/多专家模型。
从结构和语义解耦混合序列的多兴趣搜索-推荐联合建模
🧭 联合搜索-推荐 · 多兴趣建模 ★ 深度解读
华中科技大学
提出从行为类型和查询语义两个视角提取多兴趣，解决搜索推荐混合序列中的兴趣耦合问题
📌 工作参考价值（4 点）
- 结构化兴趣分解可作为电商混合行为建模的通用插件：将用户行为按搜索、推荐及跨域转换拆分，分别用独立 self-attention + target attention 建模，再与候选商品交互，可解耦短期意图与长期偏好。实际落地时，搜索行为用 query+点击 item 均值，推荐行为用 item embedding，通过掩码注意力捕获跨域转换，成本可控。
- 查询语义聚类实现低成本语义多兴趣分割：对全量 query 做 K-Means，将混合序列按最大相似度分配到语义簇，再在每个簇内用 target attention 聚合。电商场景中 query 文本易得，该方法无需额外标签，且正交损失使簇更分散，可直接迁移至搜索/推荐双渠道行为序列的粗粒度兴趣划分。
- 对比学习对齐 query 与 item 表示可提升行为融合质量：以点击 item 为正例，采样负例做 InfoNCE 损失，让搜推两种行为的表示空间一致。在商品搜索推荐联合模型中，此对齐步骤十分关键，尤其对描述文本稀疏或 ID 语义弱的场景，可用类似 span 的方式减少模态鸿沟。
- PLE 多任务架构对搜推联合预测的平衡有效：引入共享专家与任务专属专家，通过门控网络加权，可缓解搜推任务间的负迁移。在电商多目标优化中，如果搜索和推荐共享底层用户表示，PLE 结构可直接替换 MLP 预测头，提升整体指标。
决定何时依赖视觉信息：序列推荐中的门控多模态融合
🧭 多模态序列推荐 · 自适应门控融合
IKEA Retail (Ingka Group) · KTH Royal Institute of Technology
提出 VisGate，通过门控机制逐项自适应融合视觉与协同信号，并分析视觉功效的上下文变化
📌 工作参考价值（4 点）
- 在电商商品推荐中引入 item 级视觉门控，替代统一视觉融合。对视觉敏感度低的商品（如标准件、耗材）自动降低视觉权重，减少噪声；对非标品/时尚类增大权重，提升效果。
- 冷启动与稀疏交互场景：当协同信号弱时，利用门控增强视觉信号，可改善新商品或长尾商品的推荐，因为论文验证了交互稀疏下视觉效用增加。
- 视觉表征训练：采用序列共现对比学习而非简单对齐，可保持视觉与协同信号互补，提升融合有效性。可复用到多模态商品 embedding 训练。
- 将学习到的门值作为可解释性/分析工具，辅助理解商品视觉特征对转化的贡献，指导选品、内容优化或特征裁剪。
结构保持投影缓解LLM序列推荐中的模态偏差
🧭 LLM推荐 · 模态偏差缓解 ★ 深度解读
National Taiwan University
通过余弦相似度保持与序列感知对比损失，迫使投影后的协同嵌入保留原始结构，抵消LLM对文本的过度依赖
📌 工作参考价值（4 点）
- Embedding Shuffle诊断法：冻结标题、随机打乱协同嵌入，观察性能下降幅度可直接衡量LLM对协同信号的依赖程度，适合用于评估自身融合模块的有效性。
- 结构保持损失可作为即插即用的约束：在MLP投影器后添加成对余弦相似度保持损失（MSE），或序列感知对比损失（正负样本区分），无需改动LLM结构，实现简单。
- 两段训练策略：先用纯结构保持损失预训练投影器，再联合LLM微调，可避免协同结构在语言模型训练初期就被破坏，适合在已有推荐pipeline中快速植入。
- 课程式组合损失：先用余弦相似度保持建立稳定拓扑，再渐进切换至对比损失，最大化几何保真与任务判别力的平衡，对需要同时保持物品泛化语义和序列偏好的场景（如电商多兴趣建模）有参考价值。
技能知晓其邻居：用于技能检索的聚类对比能力页
🧭 技能检索 · 对比表示学习
Tencent IMA Product Center · Tencent Youtu Lab
通过聚类对比生成包含正触发、负边界和判别体的能力页，在不改变在线模型的情况下提升技能检索与路由性能
📌 工作参考价值（4 点）
- 当业务中存在大量语义相似但能力不同的技能/功能时，可离线编译「能力页」来增强检索区分度，避免检索器因文档描述的局限性而误召回。
- 引入负边界 T^- 用于路由阶段的候选拒绝，能有效减少下游执行器调用错误技能的概率，可直接用于 Agent 框架中的工具选择环节。
- 离线生成对比表示的思想可迁移到电商商品描述改写、广告文案检索等场景：通过对比邻近项自动生成更具区分性的描述字段，改善结构化信息的检索质量。
- 该方法完全通过改写离线库实现，无需更换编码器或修改在线模型，工程改造成本极低，适合快速验证与上线。
SKILL-KD：通过对比式技能蒸馏增强冻结的LLM Agent
🧭 Agent 技能蒸馏与知识迁移 ★ 深度解读
State Key Lab of CAD&CG, Zhejiang University · School of Software Technology, Zhejiang University · School of Software and Microelectronics, Peking University · Alibaba Group
将教师-学生行为差异蒸馏为可验证文本技能补丁，结合漂移感知整合维护紧凑技能库
📌 工作参考价值（4 点）
- 电商多Agent系统的技能迁移：可以用强模型（如GPT-5.5）为弱模型（本地部署小模型）自动生成技能补丁，直接注入prompt，无需微调权重，适合快速适配不同业务场景的规则变化。
- 技能库的长期维护与防漂移：维护编辑历史并追溯每次修改的原始轨迹证据，避免因局部修复导致规则冗余、冲突或退化，对管理推荐策略中的业务规则（如促销匹配、文案生成规则）有直接参考价值。
- 自适应验证确保技能可靠：每个生成的技能补丁需在学生的实际执行中验证有效性，失败则迭代修订，直到行为改变。这种闭环验证思路可借鉴到生成式推荐中，用于自动评估和修正推荐话术或策略模板。
- 同异架构模型间蒸馏不依赖内部表征：蒸馏介质为自然语言技能文本，跨模型系列（如Qwen到ChatGPT）依然有效，适合在联盟/广告主侧不同模型间传递专家知识。
MEMOIR：面向偏好漂移的时序行为记忆推荐框架
🧭 时序偏好进化建模 · 对比学习 ★ 深度解读
Independent Researcher
用LLM编码时间窗口语义记忆并显式建模偏好进化轨迹，在高低偏好漂移用户上获得排序质量提升
📌 工作参考价值（4 点）
- 时间窗口语义记忆：将用户交互历史按日历月分窗，用自然语言描述每个窗口并送入 LLM 生成语义记忆嵌入，可作为电商中用户长期兴趣演化的轻量级表示。
- 进化方向一致性约束：引入 L_dir 惩罚连续进化方向向量的余弦偏差，对偏好单调漂移的用户（如从休闲转向正式）有用；在业务中可针对品类转换明显的用户群体单独启用该损失。
- 进化感知聚合：融合当前状态、进化方向与预测未来状态，让同一当前偏好但不同轨迹的用户得到不同向量，适合需要区分“新用户刚入圈”与“老用户稳定消费”的场景。
- 漂移分层洞察：论文发现 LLM 进化建模的优势集中在高/低偏好漂移用户群（NDCG@10、MRR 提升），对业务意味着可以在用户分群后对易漂移人群启用该模型，或作为重排序信号补充。
结合对比学习与状态空间模型的用户交易序列建模
🧭 用户序列表示学习 · 状态空间模型
HSE University
用 CoLES 预训练用户向量初始化 Mamba 隐藏态或作为前缀 token，加速收敛并提升序列建模效果
📌 工作参考价值（4 点）
- CoLES 用户先验注入方式可复用：在电商行为序列建模中，可将预训练好的用户 Embedding 作为 Mamba 的初始隐藏状态或序列前缀 token，相比从头训练更快收敛（2-3倍），且无需改变模型主体。
- Mamba 替代 Transformer 处理长序列：交易序列往往极长，Mamba 的线性复杂度优势明显，适合落地到点击、购买等长历史行为建模，性能优于 RNN 且效率高于 Transformer。
- 解释性分析指导特征选择：利用离散化步数映射（discretization-step maps）和 Integrated Gradients 可识别最具信息量的交易特征，直接指导特征工程和业务规则制定，如突出高价值行为节点。
- 多任务共用的用户表示：CoLES 预训练得到的压缩用户向量可复用于年龄预测、多标签产品获取、购买预测等多个下游任务，降低在线推理成本。
EII-SCL：利用情感惯性增强多模态对话情绪识别
🧭 多模态对话情绪识别 · 情感惯性
The Hong Kong Polytechnic University
提出情感惯性引导的监督对比学习模块，无需额外数据即可提升多模态对话情绪识别
📌 工作参考价值（5 点）
- 主要是学术贡献，但以下点可借鉴到对话式推荐、智能客服等对话系统中：
- 在对话状态追踪中引入情感惯性先验：假设用户情绪短期连续，可在特征序列上构建正负样本窗口，设计对比损失增强情绪特征一致性。
- 插件式模块设计：EII-SCL 作为即插即用的模块，可嵌入现有多模态对话模型（如多模态 RecBot），无需修改主网络结构。
- 无需额外标注：通过利用对话历史标签构造时序邻域样本，不增加标注成本，适合实际业务中标签稀疏的场景。
- 时序窗口对比方法可迁移到会话推荐：在序列推荐中，利用用户短期行为惯性构造对比样本，提升兴趣漂移建模。
个性化增量视频搜索：融合文本与ID嵌入
🧭 搜索排序 · 个性化 · 混合嵌入
Apple
通过混合语义和协同嵌入为增量搜索提供个性化排序，在意图模糊时收益最大
📌 工作参考价值（4 点）
- 在电商、App搜索等增量搜索场景，可将物品的文本语义嵌入和协同过滤ID嵌入拼接成特征，注入排序模型（如XGBoost或双塔）。文本嵌入可用多语言模型在协同观看/购买三元组上对比学习微调，缓解曝光偏差。
- 对于意图尚未明确的前缀查询（1-3字符），个性化特征带来的增益远高于完整查询，因此可在前端增加实时用户意图不确定性估计，动态加大个性化权重。
- 工业场景常面临长尾用户冷启动问题，论文发现长历史用户从个性化中受益更大，但基线指标更低，说明个性化可弥补默认排序不足。可以针对不同活跃度用户设计分级策略。
- 采用LLM评判物品相似度来评估嵌入质量的方法，可迁移到推荐、搜索中的相关性标注，作为人工标注的补充，降低点击/曝光偏差。
MMRM：面向电商搜索排序的多路多模态商品表示模型
🧭 多路多模态表示 · 多任务对比学习 ★ 深度解读
JD.COM
用共享MLLM加任务特定token，一次推理生成四种解耦商品向量，并设计多路用户表示提升多目标排序
📌 工作参考价值（4 点）
- 多任务协同信号联合训练：将搜索点击、行为序列中的点击/加购/下单四种信号分别构建三元组数据集，用对比学习对齐多模态LLM，生成更全面的商品表示。可迁移到电商多行为序列建模，捕捉不同意图（流行、搭配、复购）的品间关系。
- 一次推理产出多套解耦向量：在输入中插入[SEARCH]/[CLICK]/[CART]/[ORDER]等任务特定token，经过共享主干后由独立MLP投影，单次前向获得四个解耦嵌入，避免为每个任务单独微调或推理，适合工程落地。
- 排序侧的多路用户表示：利用多套商品向量分别进行Soft Search提取任务相关行为序列，再通过Multi-Head Target Attention生成任务特定用户表示，最后经MMoE融合。这种设计能让CTR/加购/转化塔各取所需，缓解多任务场景的表示纠缠问题。
- 数据构建技巧：基于行为图采样时，用Word2Vec风格的子采样概率和难负例采样（同子类目负例）提升对比学习质量；使用GradCache突破显存瓶颈，在4B参数MLLM上用4096 batch size训练，可直接参考其工程参数。
上下文多模态文档检索：联合编码+对比学习
🧭 多模态检索 · 上下文文档嵌入
NTT Human Informatics Laboratories, NTT, Inc., Tokyo, Japan
提出首个要求跨页上下文建模的多模态文档检索基准与嵌入框架CMDR-Embed，结合CMCL对比学习显著提升跨页查询性能
📌 工作参考价值（4 点）
- 商品详情页跨图检索：可借鉴联合编码多页/多图的上下文嵌入思路，处理商品描述分布在多张细节图或PDF说明书中的场景，提升需要综合多图信息的查询召回率。
- 多模态对比学习训练 trick：CMCL平衡上下文建模与页面区分性的损失设计，可直接用于训练电商多模态检索模型，尤其适合“店铺主页多图组合匹配用户风格查询”等任务。
- RAG 中的多模态文档检索增强：在电商客服或搜索总结系统里，用CMDR-Embed替换现有文档嵌入，能让检索到的页面片段保留更完整的上下文，提高生成答案的事实一致性。
- 构建检索基准的方法论：可参照CMDR-Bench设计面向业务的跨页/跨图上下文检索评测集，衡量排序模型对“浏览型查询”（如“适合搭配这个包的上衣”）的上下文理解能力。
S2-CAR：分割监督的复杂度自适应推荐
🧭 顺序推荐 · 意图分割与多兴趣建模 ★ 深度解读
University of Technology Sydney · City University of Macau · The Education University of Hong Kong
通过连续能量衰减建模意图动态实现无监督分段，结合自适应多兴趣提取与对比辅助训练，提升长序列中间信号利用
📌 工作参考价值（4 点）
- 无监督意图分割插件：利用 Soft-TPP 基于行为动态划分 session，可在电商推荐系统中替代固定时间窗规则，避免硬切分导致的意图错位，尤其适合处理用户长期后重回同一品类时的意图连续性问题。
- 分段自适应的兴趣压缩：根据分段数量动态调整兴趣槽位，引入压缩比 ρ 抑制周期重复兴趣的浪费，能生成更紧凑的用户多兴趣向量，在召回或排序阶段降低计算和存储开销。
- 层次对比辅助训练：训练时加入基于分段的全局兴趣编码器作为教师信号，通过对比损失正则化因果序列编码器，推理时丢弃，零额外延迟提升长序列建模能力，可直接迁移到现有的 Transformer 推荐模型。
- 边界类型嵌入：将分段边界标志作为可学习嵌入加入物品表示，仅增加微小参数量，便能让模型显式感知意图变迁，该 trick 可方便集成到自注意力架构中。
留心注意力头：多模态LLM的拓扑表示对齐
🧭 多模态LLM · 头对齐与拓扑表示
University of Modena and Reggio Emilia · University of Pisa · AMD Silo AI
提出头级表示对齐 HeRA，通过拓扑邻居保持提升多模态LLM视觉任务并抑制幻觉
📌 工作参考价值（4 点）
- 多模态特征对齐可借鉴头级别选择：不在整个层做对齐，而是针对特定注意力头，用拓扑保持目标（如 MKNN 对比代理）约束局部邻域结构，适用于电商图文匹配、商品视频理解等场景。
- 反直觉发现：对齐最差的头收益最大，暗示在初始跨模态鸿沟大的位置施加约束更有效，可在自有多模态模型中选择对齐差的位置优先优化。
- HeRA 可作为正则化器，抑制模型过度依赖语言先验而忽视视觉输入，对需要精准视觉识别的任务（如商品属性提取、广告素材合规审核）有帮助。
- 训练中可引入 MKNN 度量的可微分代理，以对比损失形式端到端优化，工程实现成本低，可直接插入现有 MLLM 训练流程。
ELVA：探索排序驱动的通用多模态检索
🧭 通用多模态检索 · 排序驱动强化学习 ★ 深度解读
National Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Xi'an Jiaotong University · MiLM Plus, Xiaomi Inc · Zhongguancun Academy, Beijing, China
用排序驱动强化学习缓解多模态检索模型对比训练中的“粒度盲目”，在复杂查询上提升13.1%
📌 工作参考价值（4 点）
- 排序感知的奖励设计可迁移至推荐 / 搜索重排：将 NDCG 类连续排名奖励与 margin 约束结合，无需人工标注即可在强化学习训练中细化物品间层级关系；在电商多模态搜索、视频推荐重排中可复用该思路优化候选列表的全局次序。
- 生成式 embedding 提取范式增加 RL 探索方差：让 MLLM 先自回归生成输入的文字摘要，再从专用 [RET] token 的隐状态取嵌入，可产生足够的表示方差，支持 GRPO 等策略优化。这一 trick 可直接用于基于 LLM 的语义 ID 生成或 query 改写 RL 训练。
- 平衡负采样策略保障 RL 训练稳定：通过过滤过高相似度的负样 + 混合随机负样，扩大奖励方差并防止过拟合。在召回模型训练或 LLM Ranker 的对齐阶段，该采样思想可提高训练的收敛速度和最终效果。
- 多粒度查询基准 MRBench 的构建方法具有借鉴意义：利用 VL model 自动筛选多粒度属性查询再人工检验，可用于评估自家多模态搜索系统对复杂意图（如“红色连衣裙配银色高跟鞋”）的召回完整性。
通过检索增强强化微调学习类比推理
🧭 检索增强的强化微调与推理效用学习 ★ 深度解读
Meta Superintelligence Labs · Rice University
提出 RA-RFT，用推理效用蒸馏检索器，并在强化微调中注入类比演示，大幅提升数学推理性能
📌 工作参考价值（4 点）
- 检索应面向任务效用而非表面相似：在电商推荐中，传统的语义相似召回可能带不来转化或点击，可用 judge 模型离线蒸馏“转化效用”标签，训练检索器优先召回能提升下游任务（如购买）的 item，而不只是语义相关。
- 强化学习训练时可注入类比案例：在对话 Agent、多智体协作等 RL 训练中，可将历史成功轨迹作为演示（类比），以少量上下文形式注入，提高奖励信号密度，加速策略学习，方法可套用 RA-RFT 的"检索-蒸馏-注入"流程。
- 多向量检索更适合结构级匹配：使用 ColBERT 等 late-interaction 模型捕捉推理结构或交互模式，适用于需要挖掘行为序列相似性的场景，如推荐中的 session 匹配、用户轨迹类比。
- 训练目标决定检索增益：仅做 SFT 时检索增益微弱，须配合让模型主动探索并选择性利用外部信息的训练范式（如 RLVR），这提示在将 RAG 融入推荐 agent 训练时，要用生成式奖励而非固定目标的监督学习。
SAILRec：双端语义对齐与分层注意力引导的LLM推荐
🧭 LLM推荐中的协作知识注入与注意力控制 ★ 深度解读
Northeastern University, China
通过双端语义对齐和分层注意力引导，改善LLM推荐中协作嵌入的语义可达性与层级利用。
📌 工作参考价值（4 点）
- 用户侧语义画像码本对齐：用风格/情感/意识形态码本通过历史交互加权投票生成用户语义 target，然后将协作嵌入对齐到这些离散标签的 LLM 表示上。电商场景可直接替换码本为商品属性（品牌、价格段、类目、风格等），解决匿名 user embedding 在 LLM 中难以理解的问题，同时提供可解释的推荐理由。
- 分层的注意力引导策略：浅层抑制、中层无干预、深层增强协作 token 的注意力。这可以推广到任何向 LLM 注入外部嵌入（如知识图谱、多模态特征）的场景——避免过早干扰语言编码，在决策层强化外部知识，通过简单的偏置控制即可实现，无需改动模型结构。
- 分阶段训练策略：先冻结 MF 得到协作嵌入，再单独训练映射模块做语义对齐，最后联合微调 LoRA 和映射模块。这种“预训练-对齐-下游适配”的流程可以复用：将任意推荐特征（如协同信号）先对齐到 LLM 语义空间再参与微调，比一步联合训练更稳定。
- 基于注意力诊断的模型设计：在深度上观察协作 token 的注意力分布，并根据其深度依赖特性设计干预策略。实际工作中可以通过类似诊断分析（layer-wise attention to special tokens）来检验额外注入的特征是否被 LLM 合理利用，并指导何时增强/抑制。
提升对话搜索中LLM知识蒸馏的效率与效果
🧭 对话搜索 · LLM知识蒸馏 · 稀疏检索效率优化 ★ 深度解读
University of Amsterdam
通过引入加权对比损失、优化负采样策略和强正则化，在稀疏检索中平衡效果与推理效率
📌 工作参考价值（4 点）
- 蒸馏损失中加入小权重对比项：在电商搜索的 query 重写或对话式推荐场景，若使用 KL 散度蒸馏（如 DiSCo），可混入 5%-20% 的 InfoNCE 损失，不增加推理开销，就能稳定提升 MRR 和 nDCG—直接替换损失函数即可。
- 负采样数量需要谨慎选择：虽然理论上更多负样本能逼近真实 KL 期望，但在做检索相似度蒸馏时，正样本容易被大量负样本“淹没”，造成梯度分散。实验表明 16 个负样本是平衡点（TopiOCQA 上），这一结论可迁移到商品搜索的稀疏蒸馏中，避免盲目增加 batch 内负例。
- 利用 KL 蒸馏的松弛特性做强力稀疏正则化：KL 损失对表示空间的约束比 MSE 更松，因此可以加大 L1 或 FLOPS 正则化强度，将推理 FLOPS 降低 50% 以上，而召回率下跌 <2%。这对有延迟要求的电商搜索尤为实用，可快速压缩稀疏索引模型。
- 长会话中特别注意稀疏退化并提供解决方案：对话轮次增加会导致激活维度急剧膨胀（L0 分数恶化），强力正则化能有效抑制这一趋势，使长对话仍保持高度稀疏，适合部署在客服 Agent 或多轮对话推荐等场景。
电商产品搜索中的语义检索：两阶段 Siamese LLM 训练与相对几率对齐
🧭 电商语义检索 · 两阶段训练与偏好对齐 ★ 深度解读
Flipkart, India
通过对比学习与分级偏好对齐两阶段训练，让 LLM 双塔在电商搜索中实现细粒度相关性排序，A/B 实验提升 CTR/加购/下单
📌 工作参考价值（4 点）
- 两阶段训练可直接用于电商双塔：先用大量行为+标注数据做对比学习，再引入偏好对齐（ROAR）对多级相关性（完全匹配 > 替代品 > 互补品 > 无关）进行精排，离线 MAP@8 提升 5.57 个百分点，在线 CTR/加购/订单均有显著提升。
- 假阴性掩码解决同一商品多规格问题：在对比学习时，如果批次内存在相似商品（如不同尺码），传统负采样会错误地惩罚它们，使用 margin mask（cos(q, d_i) - cos(q, d_pos) < 0.1）自动排除假阴性，可在电商推荐的双塔训练中直接复用。
- ROAR 对齐目标可推广到任意级数：该目标基于条件几率比，支持每组 2～7 个产品，通过连续 odds-ratio 边际实现分级偏好排序，不需要固定标签数，适合电商中“完全匹配 > 替代 > 互补 > 无关”等多级信号。
- 数据增强策略值得借鉴：利用 LLM 做同义词扩展、对抗性拼写扰动、多语言音译，以及从推荐系统的共点击信号和 session 改写中构建替代品监督，可有效提升长尾查询的召回，尤其是品牌、型号等特定词汇的语义泛化。
Critic-R：用自然语言内省反馈改进代理搜索中的检索瓶颈
🧭 Agentic Search · 推理时检索反馈优化 ★ 深度解读
University of Massachusetts Amherst
引入批评模型判断检索是否满足推理需求，结合推理时查询重写与无标注对比学习，显著提升多跳问答性能
📌 工作参考价值（4 点）
- 推理时检索质量修复：无需修改现有检索模型，仅引入一个独立的批评模型判断检索结果是否满足当前推理步骤，并基于不满足的反馈重写查询。在电商搜索或对话推荐中，当检索结果不相关或信息不足时，可直接使用此机制动态改进查询，提升最终答案准确性。
- 无标注检索器微调：利用代理轨迹中的正例（被推理模型接受的文档）和硬负例（被拒绝的文档）构建对比学习数据，无需人工相关度标注。该方案可用于训练电商领域的稠密检索器，尤其适用于缺乏标注数据的场景，且能显著超越端到端联合训练的检索器。
- 内省反馈作为关键监督信号：批评模型必须基于推理模型的思考过程（而非仅查询-文档对）来判断检索质量。在应用时，应保留推理链中的自然语言反馈，将其作为后续模型优化或数据筛选的重要输入，能大幅提升训练信号纯度。
- 解耦判断与改进：将“检索引擎是否满足需求”的判断与“如何改进查询”分开为两个独立的提示步骤，可提高稳定性并避免不必要的外部调用。实现类似系统时可复用这种解耦设计，减少推理开销并提升灵活性。
不确定性引导的未来学习增强序列推荐
🧭 序列推荐 · 未来监督 · 不确定性估计 ★ 深度解读
City University of Hong Kong · Shenzhen Technology University · Peking University · Huazhong University of Science and Technology
提出不确定感知框架，根据模型对当前预测的置信度动态调节多步未来监督权重，显著提升序列推荐性能
📌 工作参考价值（4 点）
- 自适应未来监督权重：用当前预测的熵计算实例级权重，对不确定样本降低未来监督强度，避免噪声注入。可直接复用到电商序列模型的训练中，尤其适合用户行为稀疏或点击噪声多的场景。
- 零推理开销的辅助训练：未来监督和对比学习仅作为训练期正则化，推理时完全移除，不增加线上延时。业务中可放心加入未来辅助任务，不影响部署效率。
- 未来对比学习对齐全局趋势：将未来K个物品的嵌入做平均池化作为“未来视野”正样本，与当前用户表示对齐，然后区分其他用户的未来视野。这种全局偏好对齐可强化用户长期兴趣的建模，适合长周期购买决策的商品推荐。
- 模型无关的即插即用设计：框架可集成到Transformer、LLM增强等不同骨干结构上，实验表明对SASRec、DuoRec、LLM-ESR均有稳定提升，适合在现有推荐系统中快速尝试。
基于专家混合知识图谱检索增强的多智能体 LLM 推荐
🧭 多智能体 KG-RAG 推荐 · 查询感知检索与对齐优化 ★ 深度解读
The Hong Kong Polytechnic University · City University of Hong Kong · National University of Singapore
提出多智能体框架 MixRAGRec，通过查询感知的多粒度 KG 检索与联合优化，实现高效知识增强推荐
📌 工作参考价值（4 点）
- 查询感知的多粒度检索：根据用户查询复杂程度动态选择 KG 检索粒度（无检索/三元组/子图/连通图），避免简单查询过度检索、复杂查询检索不足，平衡成本与效果。电商搜索中可借鉴类似 MoE 路由，针对不同意图（属性筛选 vs. 宽泛需求）切换知识源。
- 结构化知识对齐 Agent：用专门的小型 LLM 将图结构知识转为自然语言摘要，减少噪声、保留推荐相关结构信息。在商品知识图谱场景下，可先用模板初转再让 Agent 精炼，作为 LLM 上下文注入。
- 多智能体联合优化（MMAPO）：使用共享奖励函数（推荐准确性 + 边际信息增益）并通过 GAE 估计优势，实现检索决策与内容生成的端到端训练。此框架可推广到需要协调离散选择（检索策略/API 调用）与连续生成（文案/推荐列表）的 Agent 系统。
- 对比偏好学习与硬负挖掘：在推荐模型中引入对比损失，自动挖掘困难负样本，能有效区分高度相似的候选物品。该方法可直接用于商品推荐排名模型的 fine-tune，提升 Top-K 精度。
L2Rec：面向个性化推荐的 LLM 双视图理解
🧭 LLM 推荐 · 参数级双视图融合 ★ 深度解读
Netease Cloud Music
通过在参数层面为 LLM 注入行为与语义双视图 LoRA 专家，以个性化路由统一融合信号，显著提升推荐效果。
📌 工作参考价值（4 点）
- 参数级融合思路：将行为序列与文本语义在参数空间而非表示空间对齐，冻结 LLM 主干，仅更新视图特定的 LoRA 专家，避免了表示空间的分布不匹配。电商推荐中可借鉴，例如用户点击序列（行为）与商品标题/描述（语义）使用同样方法融合，降低多模态对齐难度。
- DPMoE 个性化路由：共享专家捕获跨视图共性，视图特定专家由三信号路由（上下文、用户向量、上下文-用户交互）选择。这种“用户感知的专家激活”可迁移到多任务推荐或 Agent 多模态输入——如协同商品浏览、对话意图等多视图，只需调整路由输入。
- 轻量高效部署：仅训练 5% 参数（~32M），主干冻结。线上 A/B 点击率提升 9.24%，证明参数级适配的工业可行性。可显式用于电商召回侧，作为上游表征模块，与下游匹配/排序无缝衔接。
- 训练稳定技巧：引入双向偏好对比损失（BPC）保持双视图表征一致性，以及负载均衡损失防止 MoE 路由坍塌。这些技巧在训练多视图 MoE 时可直接复用，尤其当多个视图共享专家时，避免特定专家被忽略。
SynGR：生成式推荐中释放跨模态协同潜力
🧭 生成式推荐 · 跨模态协同信息挖掘 ★ 深度解读
Beihang University
通过显著性掩码与协同对比学习，强制模型利用跨模态协同信息，在三个数据集上提升平均约10%，推理零额外开销。
📌 工作参考价值（4 点）
- 模态依赖诊断：可从自注意力图提取token显著性得分，量化模态贡献，用于判断模型是否偏向文本或视觉，作为在线模型健康度监控。
- 动态掩码训练策略：训练中对主导模态的高saliency token进行top-r掩码，迫使模型探索跨模态交互，可迁移至电商多模态推荐、搜索重排序，防止单模态特征过拟合，提升泛化。
- 协同对比学习三元组构造：将原始序列、掩码序列、单模态序列分别作为正锚负样本做InfoNCE损失，可复用至其他多模态融合任务（如多模态商品描述生成、跨模态召回），强化交互语义。
- 轻量即插即用：掩码诊断复用前向注意力图，对比损失计算仅O(Nd)，推理零增加，且25%左右的训练加速，适合已上线多模态生成式推荐系统的低成本升级。
ReAlign：通过推理对齐表征实现可泛化图像伪造检测
🧭 图像伪造检测 · 推理蒸馏
Peking University · South China University of Technology · Guangdong Provincial Key Laboratory of Ultra High Definition Immersive Media Technology, Shenzhen Graduate School, Peking University
利用GRPO优化LLM生成推理文本，通过对比蒸馏训练轻量检测器，兼顾泛化性与效率
📌 工作参考价值（4 点）
- 若业务涉及商品图像真伪鉴别，可借鉴该推理蒸馏范式：用GRPO优化LLM生成细粒度、语义敏感的伪造推理文字，再通过对比学习将其蒸馏到轻量视觉模型，在保持推理能力的同时降低部署成本。
- 联合优化对比损失与分类损失的策略，可迁移到其他需要图文对齐的轻量判别任务（如商品描述一致性校验）。
- 自建高保真合成数据集UltraSynth-10k的思路，可参考用于构建电商AIGC干扰样本，提升业务模型对新型生成图像的鲁棒性。
- 对Agent及生成式推荐直接借鉴有限，但其中利用推理文本作为“免费”增强信号提升泛化性的思想，或可启发在推荐解释生成或用户意图推理中的多模态对齐设计。
超越二元：将 GUI 评价重铸为连续语义对齐
🧭 Agent ★ 深度解读
上海交通大学 · 小米
将 GUI 动作批评从二元分类改革为连续度量学习，在共享 Affordance 空间中恢复层次语义结构，无需额外标注